基于数据驱动算法的人工智能(AI)在当今社会中已变得无处不在。然而,在许多情况下,尤其是当赌注很高时,人类仍然做出最终决定。因此,关键的问题是,与单独人类或单独的人AI相比,AI是否可以帮助人类做出更好的决定。我们引入了一个新的方法论框架,该框架可用于实验回答这个问题而没有其他假设。我们根据基线潜在结果来衡量决策者使用标准分类指标做出正确决策的能力。我们考虑了一种单盲的实验设计,其中在人类做出最终决定的情况下,提供AI生成的建议是随机的。在这种实验设计下,我们展示了如何比较三个替代决策系统的性能 - 单独人类,与人类,与Ai-ai-One。我们将提出的方法应用于我们自己的随机对照试验中的数据,该试验是审前风险评估工具。我们发现AI建议并不能提高法官决定施加现金保释的分类准确性。我们的分析还表明,单独的决定通常比有或没有AI援助的人类决策要差。最后,与白人被捕者相比,AI建议倾向于对非白人被捕者施加现金保释。
主要关键词